MOON: Multi-Objective OrthoNormalized Updates for Multitask Learning
MOON：多目标正交归一化更新用于多任务学习
🧭 多任务学习优化 · 矩阵几何梯度操纵
Institute of Artificial Intelligence, Beihang University · Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, Beihang University · Beijing Academy of Artificial Intelligence (BAAI) · Center for Applied Statistics, School of Statistics, Renmin University of China
在矩阵几何下做多目标梯度操纵，用谱-核范数几何与正交归一更新提升多任务优化效率
📌 工作参考价值（4 点）
- 多任务推荐/广告模型里任务冲突常见，现有梯度操纵方法（MGDA、PCGrad、FAMO）都把参数展平成向量，在欧氏空间操作，忽略了 Transformer 权重矩阵的几何结构。改用矩阵几何下的谱-核范数梯度方向和正交归一更新，可直接替换现有 MTL 优化器，特别适合含 Embedding 矩阵、Attention 权重矩阵的模型。
- 工程实现上：对每个任务梯度矩阵做 SVD 或谱范数归一化，再合并成正交归一方向，计算开销可控；可先对共享底层参数应用，避免全模型展开。
- 若业务中使用多目标融合（如 CTR、CVR、GMV、时长），可尝试在共享底层或 MoE 专家层用该更新规则，替代简单梯度加权，可能改善任务间冲突和收敛速度。
- 注意论文主要验证在通用多任务学习基准，直接迁移到大规模推荐系统需先做离线小规模对比实验，确认收益与额外计算成本。